Open-Ended Questions (Version 2.0)

Two aspects of open-ended survey questions are addressed in this contribution. The first aspect is the fielding of such questions: When, and for what purpose, are they useful? Who answers such questions, in the first place? And what should be taken into account when developing and designing open-ended questions? The second part of the article shows possible ways of evaluating open-ended questions. These include content analysis, which has a long tradition in the evaluation of open-ended questions. In addition, computer-supported, dictionary-based content analysis plays a major role as it is especially suitable for the analysis of responses to open questions because they are, as a rule, short and limited by the context of the question. Co-occurrence analysis, which can yield an overall picture of the responses, is a relatively new way of evaluating open-ended questions

Coding of Occupations (Version 2.0)

In almost all surveys, respondents are asked for details of their occupation in the context of the demographic variables. The aim of the present contribution is to provide help with coding these details. Two standardised category schemas are available to social scientists[ in Germany]: the national Klassifikation der Berufe 2010 (KldB 2010) and the 2008 version of the International Standard Classification of Occupations (ISCO-08). While the KldB classifies the actual occupational titles, ISCO-08 measures occupations. The present contribution is organised as follows: First, the structure of the two schemas is outlined; second, the additional information that should be used when coding occupations is described; third, the individual coding procedures - manual, semi-automatic, and automatic coding - and the corresponding software programmes are presented; fourth, the use of the coded occupational details in the analysis is addressed. The occupational codes are often used to calculate indices of occupational status, socio-economic status, or class membership that form the basis for further analyses. The International Socio-Economic Index of Occupational Status (ISEI-08), the Standard International Occupational Prestige Scale (SIPOS), and the International Socio-Economic Classes (ISEC) Scale are briefly described. As a general rule, when coding occupations, the data collected and the way in which these data are coded depend to a large extent on the respective research question. The contribution concludes with a discussion of alternatives to the time-consuming coding of occupations according to KldB and ISCO

Commonalities, differences and limitations of text analysis software: the results of a review

Das Arbeitspapier diskutiert einerseits einige Tendenzen in der Technologie der Softwareentwicklung von Textanalysen und zum anderen die Schwerpunkte, wo in diesem Bereich weitere Entwicklung und Forschung erforderlich ist. Die Basis der Diskussion bildet ein Review über 15 Softwareprogramme. Auf die folgenden Programme wird detaillierter eingegangen: AQUAD; Atlas.ti; COAN; code-A-Text; DICTION; Dimap-MCCA, HyperRESEAERCH; Keds; Nud*IST; QED; TATOE; Textpack; TextSmart; WinMAXpro und WordState. Die Autorinnen erörtern die Methodologie und die Auswahlkriterien, warum sie welche Programme für welche Forschungszwecken am tauglichsten halten. (pre)'This paper discusses on the one hand the tendencies in functionality and technology of software for text analysis and reflects, on the other hand, on the areas where more development is needed. The basis for this discussion forms a comprehensive review (Alexa & Zuell, in press) of fifteen currently available software for text analysis. In the review each software package, i.e. AQUAD, ATLAS.ti, CoAN, Code-A-Text, DICTION, DMIAP-MCCA, HyperRESEARCH, KEDS, NUD-IST, QED, TATOE, TEXTPACK, TextSmart, WinMAXpro, and WordStat, was presented in a detailed and extensive manner. In this paper we shall only delineate our methodology and criteria for selecting which programs to review and concentrate on discussing the types of support the selected programs offer, the commonalities and differences of their functionality, point to some of their shortcomings and put forward suggestions for future development.' (author's abstract)

10 points versus 11 points? Effects of Left-right Scale Design in a Cross-national Perspective

Left-right self-placement on a unidimensional scale is a standard question in many social and political surveys to measure respondents' ideological orientation in a minimalist way.Although the left-right scale is a standard question, the scale design is not standardized across surveys. One aspect of scale design is the offer of a midpoint. This paper is about design effects on central left-right scale placement in a cross-national context. How do respondents answer if there is no true midpoint: Do respondents who want to express a middle position, in the case of a 10-point scale, use scale middle categories as a substitute for a true midpoint? Are findings consistent across countries? Offering a midpoint is much debated among researchers and quite often, a midpoint might serve as a hidden "don't know" or a missing attitude. Does nonresponse increase when non-attitudes cannot be expressed by choosing the neutral midpoint to hide nonresponse? If middle categories in the 10-point scale work as substitute for a true midpoint in the 11-point scale, nonresponse will not differ. We tested these questions in a split-half experiment where either a 10-point or an 11-point scale was asked in an experimental web survey fielded in six countries. Our results seem to confirm the idea that respondents who favor choosing a scale middle find a virtual center in the 10-point scale. However, results are inconsistent in cross-national perspective

A review of software for text analysis

Der Band bespricht eine Auswahl an Software für eine computerunterstützte Textanalyse. Das vorrangige Ziel besteht darin, einen detaillierten und aktuellen Überblick über das Spektrum vorhandener Textanalyse-Software zu geben und die Unterstützungsarten, die die ausgewählte Software dem Nutzer bietet, zu katalogisieren. Ein damit verbundenes, allgemeineres Ziel ist, die Tendenzen sowohl in der Funktionalität als auch in der Technologie aufzuzeigen und die Bereiche zu identifizieren, in denen noch mehr Entwicklung nötig ist. Die vorgestellte Auswahl an Software umfasst aus diesem Grund nicht nur voll entwickelte kommerzielle Programme und Forschungsprogramme, sondern auch Prototypen und Beta-Versionen. Ein weiterer Aspekt mit Blick auf die vorgestellten Softwarearten besteht darin, dass sowohl qualitativ als auch quantitativ orientierte Forschungstypen eingeschlossen werden. Der Textanalyst kann in Abhängigkeit von Forschungszwecken und Projektdesign von verfügbaren Tools unabhängig von deren Ausrichtung profitieren. Bei der Computerunterstützung kommt es gegenwärtig oft vor, dass die Grenzen zwischen quantitativen und qualitativen Methodologien "unklar" werden; stattdessen kann man eine Reihe von Gemeinsamkeiten entdecken, die in einen breiteren Textanalyse-Zusammenhang gestellt werden können. Folgende 15 Programme werden besprochen: AQUAD, ATLAS.ti, CoAN, Code-A-Text, DICTION, DIMAP-MCCA, HyperRESEARCH, KEDS, NUD-IST, QED, TATOE, TEXTPACK, TextSmart, WinMAXpro und WordStat. Der letzte Teil des Bandes enthält eine ausführliche Diskussion über Textanalyse-Programme und über die konkreten Problemstellungen, die sich aus der Besprechung ergeben. (ICIÜbers)"The book reviews a selection of software for computer-assisted text analysis. The primary aim is to provide a detailed (and up-to-date) account of the spectrum of available text analysis software and catalogue the kinds of support the selected software offers to the user. A related, more general, goal is to record the tendencies both in functionality and technology and identify the areas where more development is needed. For this reason the presented selection of software comprises not only fully developed commercial and research programs, but also prototypes and beta versions. An additional aspect with regards to the kinds of software reviewed is that both qualitative and quantitative-oriented types of research are included. Depending on research purposes and project design the text analyst can profit from available tools independently of their orientation. Today it is often the case that in computational support, the borderline between quantitative and qualitative methodologies can become 'obscure'; instead, one can detect a number of commonalities which can be placed within a broader text analysis context. The following fifteen programs are reviewed: AQUAD, ATLAS.ti, CoAN, Code-A-Text, DICTION, DIMAP-MCCA, HyperRESEARCH, KEDS, NUD-IST, QED, TATOE, TEXTPACK, TextSmart, WinMAXpro, and WordStat and the criteria and methodology used for selecting them are delineated. The last part of the book contains an extensive discussion about text analysis programs and the concrete issues raised from the review." (author's abstract

Reasons for refusals, their collection in surveys and interviewer impact

"Refusals are a significant source of non-response in surveys. During field periods of some surveys reasons for refusals are collected in call record data (as part of para-data). This article presents a study employing a content analysis of open-ended comments on reasons for refusals collected by interviewers in a survey of the German population (ALLBUS). We analysed the reasons for refusals contained in these comments, as well as to what extent these comments include information about factors relevant to participation in surveys. Additionally, we analysed the impact of interviewer characteristics – gender, age, education and experience – on data collection using various multilevel multinomial models. The results show that interviewer comments provide typical reasons for refusals, as well as specific information about target persons, their environment and the survey process. Interviewers' age and education influenced the collection of reasons for refusals. At the same time interviewer variances (obtained through multinomial multilevel models) were very high, showing that interviewers prefer to report certain reasons for refusals. The highest interviewer level variances were obtained for providing no comments at all. To improve data quality and reduce high interviewer impact, we suggest using improved standardised instruments to collect reasons for refusals. Codings based on a categorisation scheme which we developed for our content analysis show high reliability (kappa = .81). Thus, this scheme can be used as a basis for developing such standardised instruments." (author's abstract

Offene Fragen (Version 1.1)

In diesem Papier werden zwei Aspekte von offenen Fragen in Umfragen angesprochen. Im ersten Teil geht es um die Frage der Erhebung von offenen Fragen: Wann und wozu sind sie nützlich, wer antwortet überhaupt auf solche Fragen und was ist bei der Entwicklung und Gestaltung von offenen Fragen zu beachten? Im zweiten Teil werden mögliche Formen der Auswertung offener Fragen aufgezeigt. Dazu gehört die Inhaltsanalyse, die eine lange Tradition bei der Auswertung von offenen Fragen hat. Daneben spielt die auf einem Diktionär basierende computerunterstützte Inhaltsanalyse bei der Auswertung offener Fragen eine große Rolle, da sie sich gerade für diese in der Regel kurzen, durch die Fragestellung im Kontext begrenzten Antworten eignet. Eine relative neue Form der Auswertung offener Fragen ist die Co-Occurrence-Analyse, die ein Gesamtbild der Antworten geben kann

Berufscodierung (Version 1.1)

Berufsangaben werden in fast allen Umfragen im Kontext der demographischen Variablen erfragt. Das vorliegende Papier soll Hilfestellung bei der Codierung dieser Angaben bieten. In den Sozialwissenschaften stehen zur Codierung von Berufen zwei standardisierte Kategorienschemata zur Verfügung: Während die Klassifikation der Berufe 2010 (KldB 2010) die konkreten Berufsbezeichnung codiert, wird im ISCO-08 die berufliche Tätigkeit erhoben. Das vorliegende Papier setzt sich zunächst mit dem Aufbau beider Schemata auseinander. Im Anschluss wird beschrieben, welche zusätzlichen Informationen beim Codieren von Berufen hinzugezogen werden sollten. Es folgt eine Vorstellung der einzelnen Codierverfahren - manuelles, halbautomatisches und automatisches Codieren wird ebenso wie die zugehörigen Softwareprogramme vorgestellt. Daran anschließend steht die Verwendung der codierten Berufsangaben in der Analyse im Fokus: Oft werden die Berufscodierungen zur Berechnung von Indizes des beruflichen Prestiges, des sozio-ökonomischen Status oder der Klassenzugehörigkeit verwendet, die die Grundlage für weitere Analysen darstellt. Die Skalen ISEI-08 (Skala zur Messung des sozioökomischen Status im internationalen Vergleich), SIPOS (Standardisierte berufliche Prestige-Skala) und ISEC (International Socio-Economic Classes) werden kurz beschrieben. Generell ist bei Berufscodierungen darauf zu achten, dass was erhoben wird und wie es codiert wird stark von der jeweiligen Forschungsfrage abhängt. Im letzten Teil des Papieres werden schließlich Alternativen zur aufwändigen Berufskodierung nach KldB und ISCO diskutiert

Klassifikation mit Clusteranalyse: grundlegende Techniken hierarchischer und K-means-Verfahren

'Nach einer Einführung in die Ziele der Clusteranalyse werden die Grundprinzipien der Algorithmen hierarchisch-agglomerativer und K-means-Verfahren dargestellt. Ein Schwerpunkt liegt auf der graphischen Darstellung der Ergebnisse. Außerdem werden einige Verfahren zur Validierung von Clusterlösungen, wie der Vergleich von Lösungen hierarchisch-agglomerativer Verfahren mit K-means-Lösungen sowie Monte-Carlo-Verfahren zur Exploration des Einflusses von Startbedingungen bei K-means-Verfahren, vorgestellt.' (Autorenreferat)'The paper presents a short introduction to the aims of cluster analysis and describes the principles of hierarchical-agglomerative and K-means procedures. Graphical representations play an important role, while validation, for example by comparison of different hierarchical and K-means solutions or by Monte-Carlo simulations, is an important issue.' (author's abstract)

Computerunterstützte Inhaltsanalyse: Literaturbericht zu neueren Anwendungen

"Im vorliegenden Bericht werden ausgewählte Anwendungen der quantitativen computerunterstützten Inhaltsanalyse zusammengefasst. Dabei liegt der Schwerpunkt der Beschreibung auf der Durchführung der Inhaltsanalyse selbst und nicht auf der Darstellung der Ergebnisse. Um eine systematische Suche zu erleichtern, werden nach der Einleitung alle Anwendungen unter verschiedenen Gesichtspunkten tabellarisch zusammengefasst. Im Anschluss daran folgt dann eine kurze Beschreibung der einzelnen Anwendungen, bevor der Bericht mit einigen Verweisen auf Textkorpora, Diktionäre und Software endet." (Autorenreferat)"Selected applications of quantitative computerassisted content analysis are summarized in this report. The procedures and methods used in conducting the content analysis are emphasized rather than the results of the analysis. In order to facilitate a systematic search, the applications are thematically ordered in tables following the introduction. The tables are followed by short descriptions of each application. The report ends with references to text corpora, dictionaries and software." (author's abstract